OpenAI travaille avec le Pentagone sur des projets de logiciels, y compris ceux lis la cyberscurit, a dclar l'entreprise mardi, dans un changement radical par rapport son interdiction prcdente de fournir sa technologie d'intelligence artificielle aux militaires. Le crateur de ChatGPT est galement en discussion avec le gouvernement amricain pour dvelopper des outils visant rduire le nombre de suicides chez les vtrans, a dclar Anna Makanju, vice-prsidente des affaires mondiales de l'entreprise, lors du Forum conomique mondial, tout en ajoutant qu'elle maintiendrait son interdiction de dvelopper des armes.Jusqu'au 10 janvier, la page des politiques d'utilisation d'OpenAI comprenait une interdiction des activits prsentant un risque lev de dommages physiques, y compris , plus prcisment, le dveloppement d'armes et les activits militaires et de guerre . Cette interdiction des applications militaires, formule en termes clairs, semble exclure toute utilisation officielle, et extrmement lucrative, par le ministre de la dfense ou toute autre arme nationale. La nouvelle politique conserve l'injonction de ne pas utiliser notre service pour vous nuire ou nuire autrui et donne comme exemple le dveloppement ou l'utilisation d'armes , mais l'interdiction gnrale de l'utilisation militaire et de guerre a disparu.
Version des politiques d'utilisation d'OpenAI avant le 11 janvier 2024
Cette suppression, qui n'a pas t annonce, fait partie d'une rcriture majeure de la page de politique, qui, selon l'entreprise, visait rendre le document plus clair et plus lisible , et qui comprend de nombreuses autres modifications substantielles de la langue et de la mise en forme.
Nous avons cherch crer un ensemble de principes universels qui soient la fois faciles retenir et appliquer, d'autant plus que nos outils sont dsormais utiliss globalement par des utilisateurs quotidiens qui peuvent aussi construire des GPT , a dclar Niko Felix, porte-parole d'OpenAI. Un principe tel que "Ne pas nuire autrui" est large mais facile comprendre et pertinent dans de nombreux contextes. En outre, nous avons spcifiquement cit les armes et les blessures infliges autrui comme des exemples clairs .
Une dcision qui a suscit l'inquitude des dfenseurs de la scurit de l'IA
OpenAI est bien consciente des risques et des prjudices qui peuvent dcouler de l'utilisation de sa technologie et de ses services dans des applications militaires , a dclar Heidy Khlaaf, directrice de l'ingnierie la socit de cyberscurit Trail of Bits et experte en apprentissage automatique et en scurit des systmes autonomes, citant un document de 2022, qu'elle a cocrit avec des chercheurs d'OpenAI, qui mettait spcifiquement en vidence le risque d'utilisation militaire.
Khlaaf a ajout que la nouvelle politique semble mettre l'accent sur la lgalit plutt que sur la scurit. Il y a une nette diffrence entre les deux politiques, car la premire indique clairement que le dveloppement d'armes et les activits militaires et de guerre sont interdits, tandis que la seconde met l'accent sur la flexibilit et le respect de la loi , a-t-elle dclar. La mise au point d'armes et la ralisation d'activits lies l'arme et la guerre sont lgales divers degrs. Les implications potentielles pour la scurit de l'IA sont importantes. tant donn les cas bien connus de partialit et d'hallucination prsents dans les grands modles de langage (LLM), et leur manque gnral de prcision, leur utilisation dans la guerre militaire ne peut que conduire des oprations imprcises et biaises susceptibles d'aggraver les dommages et les pertes civiles .
Compte tenu de l'utilisation de systmes d'IA pour cibler les civils Gaza, la dcision de supprimer les termes "militaire et guerre" de la politique d'utilisation autorise d'OpenAI est un moment important , a dclar Sarah Myers West, directrice gnrale de l'AI Now Institute et ancienne analyste de la politique en matire d'IA la Federal Trade Commission. Les termes utiliss dans la politique restent vagues et soulvent des questions sur la manire dont OpenAI a l'intention d'aborder l'application de la loi .
Je pourrais imaginer que l'abandon du terme "militaire et guerre" au profit de celui "d'armes" laisse un espace l'OpenAI pour soutenir les infrastructures oprationnelles tant que l'application n'implique pas directement le dveloppement d'armes au sens strict , a dclar Lucy Suchman, professeure mrite d'anthropologie des sciences et des technologies l'universit de Lancaster. Bien sr, je pense que l'ide selon laquelle vous pouvez contribuer aux plateformes de combat tout en prtendant ne pas tre impliqu dans le dveloppement ou l'utilisation d'armes serait malhonnte, retirant ainsi l'arme du systme sociotechnique - y compris les infrastructures de commandement et de contrle - dont elle fait partie .
Vient alors le ministre amricain de la Dfense
Ce changement intervient alors quOpenAI commence travailler avec le ministre de la Dfense des tats-Unis sur des outils dintelligence artificielle, notamment des outils de cyberscurit open source, selon une interview accorde mardi au Forum conomique mondial par Anna Makanju, vice-prsidente des affaires mondiales dOpenAI, qui tait aux cts du PDG Sam Altman. Makanju a galement dclar quOpenAI tait en discussion avec le gouvernement amricain pour dvelopper des outils visant rduire le nombre de suicides chez les vtrans, mais a ajout que lentreprise maintiendrait son interdiction de dvelopper des armes.
Parce que nous avions auparavant ce qui tait essentiellement une interdiction gnrale du militaire, beaucoup de gens pensaient que cela interdirait beaucoup de ces cas dutilisation, qui sont trs aligns sur ce que nous voulons voir dans le monde , a dclar Makanju.
La nouvelle intervient aprs des annes de controverse sur le dveloppement de technologies par les entreprises technologiques des fins militaires, souligne par les proccupations publiques des travailleurs de la technologie - surtout ceux travaillant sur lintelligence artificielle. Les employs de pratiquement tous les gants de la technologie impliqus dans des contrats militaires ont exprim leurs inquitudes aprs que des milliers demploys de Google ont protest contre le projet Maven, un projet du Pentagone qui utiliserait lintelligence artificielle de Google pour analyser les images de drones de surveillance. Les employs de Microsoft ont protest contre un contrat de 480 millions de dollars avec larme qui fournirait aux soldats des casques de ralit augmente, et plus de 1 500 employs dAmazon et de Google ont sign une lettre protestant contre un contrat conjoint de 1,2 milliard de dollars, pluriannuel, avec le gouvernement et larme israliens, dans le cadre duquel les gants de la technologie fourniraient des services de cloud computing, des outils dintelligence artificielle et des centres de donnes.
Toutefois, la Silicon Valley semble assouplir sa position sur la collaboration avec l'arme amricaine. En effet, ces dernires annes, le Pentagone a dploy des efforts concerts pour convaincre les startups de la Silicon Valley de dvelopper de nouvelles technologies d'armement et d'intgrer des outils avancs dans les oprations du dpartement. Les tensions entre les tats-Unis et la Chine et la guerre mene par la Russie en Ukraine ont galement permis de dissiper bon nombre des craintes que les entrepreneurs nourrissaient autrefois l'gard de la collaboration militaire.
Sam Altman, PDG d'OpenAI, lors d'une interview Bloomberg House le jour de l'ouverture du Forum conomique mondial de Davos, en Suisse, le 16 janvier 2024
L'IA pourrait remodeler l'arme, mais avec des risques importants
Les experts de la dfense se sont montrs optimistes quant l'impact de l'IA sur l'arme. L'ancien PDG de Google, Eric Schmidt, aujourd'hui figure emblmatique de l'industrie de la dfense, a compar l'arrive de l'IA l'avnement des armes nuclaires, a rapport Wired. Einstein a crit une lettre Roosevelt dans les annes 1930 pour lui dire que cette nouvelle technologie - les armes nuclaires - pourrait changer la guerre, ce qu'elle a clairement fait. Je dirais que l'autonomie [alimente par l'IA] et les systmes dcentraliss et distribus sont aussi puissants , a dclar Schmidt.
Toutefois, des groupes de dfense ont prvenu que l'intgration de l'IA dans la guerre pourrait comporter des risques importants, compte tenu de la tendance de l'IA "halluciner", c'est--dire inventer de fausses informations et les faire passer pour vraies, ce qui pourrait avoir des consquences bien plus graves si les systmes aliments par l'IA taient intgrs dans les systmes de commandement et de contrle. L'Association pour le contrle des armes a mis en garde contre la course l'exploitation des technologies mergentes des fins militaires, qui s'est acclre bien plus rapidement que les efforts dploys pour valuer les dangers qu'elles reprsentent.
De son ct, bien qu'OpenAI ait exclu de dvelopper des armes, sa nouvelle politique l'autoriserait probablement fournir des logiciels d'IA au ministre de la dfense pour des utilisations telles que l'aide aux analystes dans l'interprtation des donnes ou l'criture de codes. Mais comme l'a montr la guerre en Ukraine, la frontire entre le traitement des donnes et la guerre n'est peut-tre pas aussi nette que l'OpenAI le souhaiterait. L'Ukraine a dvelopp et import des logiciels pour analyser des donnes volumineuses, ce qui a permis ses artilleurs d'tre rapidement informs de la prsence de cibles russes dans la rgion et d'acclrer considrablement le rythme de leurs tirs.
En attendant, des experts ont averti que le changement de politique pourrait suffire relancer le dbat sur la scurit de l'IA au sein d'OpenAI, qui a contribu au bref licenciement de Sam Altman en tant que PDG.
Sources : Forum conomique mondial (vido dans le texte), ancienne politique OpenAI (archive), document cocrit par OpenAI et Heidy Khlaaf
Et vous ?
Pour ou contre l'utilisation de l'IA des fins militaires ? Si pour, quel degr ou quels fins ? Si contre, pourquoi ?
Pensez-vous quOpenAI a bien fait de modifier sa politique dutilisation de ses outils ?Quels sont les avantages et les inconvnients de lutilisation de lintelligence artificielle des fins militaires ?
Comment OpenAI peut-elle garantir que ses outils ne seront pas utiliss pour dvelopper ou utiliser des armes ?
Comment les travailleurs de la technologie peuvent-ils exprimer leurs proccupations ou leur opposition des projets militaires impliquant lintelligence artificielle ?
